Условие inv[i] !=0 || inv[i]!=a в третьем цикле не соответствует необходимому условию для обработки элементов до нуля (это условие всегда истинно, так как элемент не может одновременно быть равен и 0, и a, что приводит к бесконечному циклу и выходу за границы массива).